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© Verfahren zur Bewegungskompensatlon In einem Bewegtbildcoder oder -decoder. 

2.1. Zur Datenreduktion werden bewegungskompensierende Praditoren ermittelt, die durch Erkennung und 
Kompensation von Zoom und Pan zusatzlich verbessert werden. 

2.2. Aus Daten eines blockorientierten Bewegungsschatzers wird ein Vektorhistogramm erzeugt. welches fur 
die Ermittlung eines Panvektors und des Zoomfaktors herangezogen wird. Ein reiner Panvektor wird aus den 
Vektoren groflter Haufigkeit bestimmt. Bei vermuteter Existenz eines Zooms wird der Panvektor aus einem 
bereinigtem Verktorhistogramme erzeugt. 

2.3. Vorzugsweise findet die Erfindung Anwendung in digitalen Bildverarbeitungssystemen. 
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VERFAHREN ZUR BEWEGUNGKOMPENSATION IN EINEM BEWEGTBILDCODER ODER -DECODER 

Die Erfindung betrifft ein Verfahren zur Bewegungkompensation in einem Bewegtbildcoder Oder 
-decoder, mit Erkennung und Kompensation von Zoom und Pan. insbesondere in Fernsehbildsequenzen 
gemafl Oberbegriff des Anspruchs 1 . 

Heutige Bewegtbildcoder verwenden als einen Schritt der Datenreduktion in der Regel eine bewegungs- 
kompensierende Pradiktion; dazu werden Vektoren, die eine translatorische Bewegung beschreiben. meist 
blockweise - z. B. mittels log(D)-step search oder full search - ermittelt. Die Datenreduktion und damit die 
Bildqualitat eines solchen Coders kann durch Erkennung und Kompensation der in Fernsehszenen haufigen 
Bewegungsarten Zoom und Pan zusatzlich verbessert werden. 

Aus M M. HStter; R. Thoma: Image Segmentation Based on Object Oriented Mapping Parameter 
Estimation. University Hannover, 1988" ist ein Verfahren zur Bildregufierung unter gleichzeitiger Schatzung 
des Bewegungsparameters der einzelnen Segmente beschrieben. Aus W M. Hotter: Estimation of the Global 
Motion Parameters Zoom and Pan, PCS 1987" wird mittels direkter Verwendung der Bildinformation zweier 
Bilder der Zoom-Faktor ermittelt 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bewegungskomensation in einem Bewegt- 
75 bildcoder oder -decoder anzugeben. unter Auswertung der Zoom- und Pan-lnformationen einer Bildrequ- 
lanz. 

Diese Aufgabe wird durch die in Anspruch 1 angegebenen Merkmale gelost. Vorteilhafte Weiterbildun- 
gen sind in den Unteranspruchen angegeben. 

Da ein Bewegtbildcoder wie der erwahnte bereits uber einen Bewegung sschatzer fOr translatorische 
20 Verschiebungen verfugt. werden erfindungsgemaflgemafl diesen Verschiebungsvektoren weiterverwertet. 
um die Zoom- und Pan-lnformationen zu extrahieren. 

Dazu werden aus einem Verschiebungsvektorfeld Zoom und Pan geschatzt. 
Die Verschiebungsvektoren werden zunachst daraufhin analystert. ob 
a) ein Pan, aber kein Zoom oder 
25 b) ein einem Zoom uberlagerter Pan vorliegen konnte. 

Nach erfolgter Panschatzung und -kompensation wird die Hypothese eines vorliegenden Zooms 
gepruft Falls ein hinreichend zuverlassiger Zoomfaktor ermittelt werden kann, wird dann ein entsprechen- 
des Zoomvektorfeld generiert und mit dem vorermittelten Verschiebungsvektorfeld verglichen. Erfindungs- 
gemafl kann in nachfolgenden Iterationsschritten ein falsch erkannter Panvektor und ggf. die Grofle des 
30 Zoomfaktors konigiert werden. 

Jm folgenden wird der Ausgangspunkt der Zoom- und Panschatzung betrachtet. 

Ein Fernsehbild wird im folgenden beispielsweise als eine zweidimensionale Matrix von Bildpunkten mit 
entsprechenden Grauwerten s(x.y) betrachtet. 

Der obige Bewegungsschatzer liefert eine Matrix V(x,y) = (Vx(x,y), Vy(x.y)) von Verschiebungsvektoren. 
35 wobei z. B. jeweils ein Vektor einem 16x16 Bildpunkte groflen Block des Bildsignals s(x.y) zugewiesen ist. 
Zur Vereinfachung sei V als eine Matrix derselben Grofie wie die Bildsignalmatrix s gedacht, bei der dann 
jeweils fur je z. B. 16x16 Positionen derselbe Vektor eingetragen wird. Die Koordinaten (x.y) sind so 
gewahlt. dafl der Ursprung (0,0) in der Bildmitte liegt und fur den Zahlenbereich von x und y qilt -X < x < 
+ X und -Y < y < +y. * 

40 Vorverarbeitung der Eingangsdaten geschieht durch Vektorfeldbereinigung und Aufnahme des Vektorhi- 
stogramms. 

Aus dem Vektorfeld V konnen Vektoren, die grob aus einem sonst homogenen Feld herausfallen, durch 
eine medianahnliche Vorfilterung eliminiert werden. 

Dazu wird vektor- und damit blockweise in einem 3x3 groflen Fenster um jeden Eintrag (xb.yb) in den 
45 Matrizen Vx, Vy der Median der Vektorkomponenten Vmx(xb.yb), Vmy(xb.yb) ermittelt. Die Koordinatenbe- 
zeichnungen (xb.yb) bringen zum Ausdruck, dafl diese Berechnung nicht fur jeden Bildpunkt. sondern fur 
jeden Block durchgefuhrt werden mu/J. Wenn ein Vektor um nicht mehr ais einen vorgebbaren Faktor von 
dem Medianwert abweicht, d. h.. wenn gilt: 
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1 Vx(xb,yb) l Vy(xb /y b) 

< < Fm ODER — < < Fm 
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mit geeignet gewahltem Fm, z. B. Fm = 2. so wird der Vektor V(xb.yb) ais zuverlassig betrachtet; andemfalls 
wird er als AusreiBer angesehen und bei der folgenden Analyse nicht weiter berOcksichtigt. 

Es wird das Histogramm H(Vx(x,y).Vy(x,y)) der verbleibenden K Bewegungsvektoren Vk = (Vx(xk.yk).Vy 
(xk.yk)) mit k = 1...K ermittelt. Die ausfiihrliche Schreibweise H(Vx(x,y).Vy(x.y)) wird zwecks Obersichtlichkeit 
5 im folgenden z. T. abgekurzt zu H(Vx.Vy), bzw. H(V). falls die Abhangigkeit der Vektorkomponenten vom 
Ort bzw. die Zweidimensionalitat des Histogramms gerade nicht wesentlich ist 

Die Panerkennung mittels Vektorhistogramm geschieht folgendermaflen: 

Zunachst wird in einer ersten Hypothese angenommen. da/5 ein Pan vorliegt und der haufigste Vektor 
der Panvektor ist: 

to 1. Hypothese: Der haufigste Vektor Vp = (Vpx.Vpy) mit H(Vpx.Vpy) = Hmax stellt den eindeutigen 
Panvektor dar. 

Nun wird gepruft. ob die erste Hypothese zutrifft. Dazu mufl die Haufigkeit des Panvektors eine 
vorgegebene Schwelle Hpmin uberschreiten. und die Haufigkeiten der ubrigen Vektoren eine andere 
Schwelle 5 unterschreiten: 

75 

Test: 

Wenn der haufigste Vektor Vp = (Vpx f Vpy) mit einer Haufigkeit 
20 H(Vpx,Vpy) = Hmax > Hpmin 
existiert 
UND 

H(Vx ,Vy ) < 5 

fur alle anderen Vektoren ist, genau dann liegt ein Pan vor (Bsp: Hpmin =0.5, 5 = 0.1). 
25 Falls auf diese Weise kein Pan erkannt wird, so wird eine zweite Annahme (2. Hypothese) gemacht 

2. Hypothese: Der wahre Panvektor liegt zwischen den vier benachbarten Vektoren, die zusammen die 
grofite Haufigkeit HMax haben. 

Die Anordnung der Vektorpositionen in ein em Quadrat kann wie folgt aussehen: 
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Wobei * die benachbarten Vektoren und o der geschatzte wahre Panvektor ist. 
Diese Annahme wird ebenfalls gepruft: 



ss Test: 



Wenn fur diejenigen vier Vektoren VI. ... V4. deren Endpunkte ein Quadrat mit der Kantenlange 1 
bilden und die die grdflte gemeinsame Haufigkeit HSumMax haben. gilt: 
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HS urn Max > Hpmin 
UND 

H(Vx.Vy) < 6 

fur alle anderen Vektoren, genau dann liegt ein Pan vor. Der Panvektor o wird dann geschatzt als: 
5 Vp = (Vpx.Vpy) 

4 

mit Vpx = I H(Vi)*Vix 
io i=l 

4 

7S Vpy = I H(Vi)*Viy 

i=l ' 
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Falls auf diese Weise kein Pan erkannt wird, so wird als dritte Hypothese vermutet dafl ein Zoom vorliegt: 
3. Hypothese: Es liegt ein Zoom vor. 

Ein dem Zoom uberlagerter Pan kann aus dem Histogramm nur noch durch komponentenweise lineare 
Regression ermittelt werden. Hierzu werden alle Vektoren, die im Histogramm, die in diesem Zusammen- 
hang eine zwei dimensionale Matrix darstelit. auflemalb eines Rechtecks liegen, das z. B. 90 % aller 
Vektoren enthalt, als "AusreiBer" eingestuft und fur die weitere Auswertung nicht berucksichtigt Die 
25 Koordinaten (xi.yi), mit i = 1 ... i bezeichnen im weiteren die Positionen in der Vektorfeldmatrix V, fur die 
ein gultiger Vektor vorliegt Dabei wird pro Bildblock nur ein Vektor ausgewertet. 

Aus den ermittelten Regressionsgeraden 
Vx(x) = ax * x + bx 
Vy(y) = ay • y + by 
folgen die Panschatzwerte gemafl 
Vpx = Vx(0) 
Vpy = Vy(0). 

Diese Schatzwerte werden bei der Zoomerkennung benutzt 
Die Zoomerkennung erfolgt aus dem Vektorfeld. 
3$ Zoom bedeutet eine subjektive Verkleinerung oder Vergrofierung von Bildinhalten durch eine Streckung 
Oder Stauchung der Bildebene. Die Starke oder Geschwindigkeit des Zooms, der "Zoomfaktor", ist 
identisch mit dem Streckfaktor a = (ax,ay) einer zentrischen Streckung der Bildebene. Im Fall gleicher 
horizontaler und vertikaler Bildpunktabmessungen sind die horizontale und die vertikale Streckung gleich 
grofl: ax = ay = a. Dieser Fall wird im folgenden als Bei spiel weiter betrachtet. Die Streckung der 
Bildebene ist dann definiert durch: 
sn + 1(x,y) = sn(x\y') = sn(aXa*y) 0) 
mit sn: OriginaJsignal, 
sn + 1 : Signal nach Streckung. 

Nach erfolgter Pankompensation liegt das Streck- oder Zoomzentrum in der Bildmitte. Die ermittelten 
Bewegungsvektoren V(x,y) stellen im Idealfall die Differenz zwischen den Koordinaten ein und desselben 
Signaiabschnitts (Blockes) in den Bildern n und n + 1 dar: 
Vx(x,y) = x - x = x - a*x = (1 -a)x = Z*x 
Vy(x,y) = y - y = y - a*y = (1-a)y = Z*y (2) 

Der hier bestimmte Zoomfaktor Z = Zx = Zy erlaubt es somit, ein Bewegungsvektorfeld zu ermitteln. 
50 das dann wiederum dazu benutzt werden kann, aus Bild n das Bild n + 1 zu pradizieren gema/3: 
sn + 1 (x t y) = sn (x-Vx(x f y), y-Vy(x.y)) (3) 
fur alle x, y. 

Die Schatzung des Zoomfaktors erfolgt zunachst lokal an den Positionen (xi.yi) der gultigen Bewe- 
gungsvektoren, getrennt nach Komponenten: 
55 Zxi = Vx(xi.yi) / xi 

Zyi = Vy(xi.yi) / yi (4) 

Hierbei werden zur Schatzung nur Vektoren herangezogen. die annahernd radial zum Zoomzentrum 
verlaufen (z. B. t 10* ). 
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Der globale Zoomfaktor Z wird dann gesetzt zu 

Z = Wx*Zx + Wy*Zy (5) 
mit 

Zx = (I Zxi) / I 
i 

Zy = (I Zyi) / I 
i 



wobei Wx. Wy Gewichtsfaktoren sind, die die Zuverlassigkeit der Schatzwerte Zx . Zy darstellen und 
ermittelt werden als: 
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Sy 1 



Wx = 
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Sx' + Sy f 

und ( 6 ) 

Wy = 1 - Wx 
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mit 
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Sx 1 = Sx / |Zx| 
Sy' = Sy / |Zy| 



(7) 



wobei 

35 Sx = sqrt ((I(Zxi-Zx)**2) / (1-1)) 

i 

Sy = sqrt ( (I (Zyi-Zy)**2 ) / (1-1)) 



(8) 



40 

d. h., Sx , Sy' sind die normierten Standardabweichungen der Schatzwerte Zx. Zy. 
Diese Zoomhypothese wird gepruft: 

45 

Test: 

Als Testparameter fur die Zuverlassigkeit des Zoomfaktors dienen die Differenz der Zoomfaktorschatz- 
werte in x-und y-Richtung 
so dZ = |Zx-Zyj / |Z|, (9) 

sowie die normierte Standardabweichung 
S' = (Sx'+Sy')/2, (10) 

die Differenz der Standardabweichungen in x- und y-Richtung 
dS = |Sx-Sy|/|Zx + Zy|. (11) 
55 und die Anzahl gultiger Testvektoren I. Wenn diese GroBen gewisse Schwellen nicht uberschreiten sowie 
eine Anzahl von gultigen Testvektoren 1 mindestens vorhanden sind. so wird ein Zoom als zuverlassig 
erkannt angesehen. Mogliche Schwellwerte sind: 
dZ < 0.3 
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S' < 1 .0 
dS < 1.0 
I > 0.2 * N 

mit N = Anzahl der vorgegebenen Vektoren. 
5 Nach Schatzung eines Zoomfaktors kann zur Verbesserung des Zoomfaktors als auch des geschatzten 

Panfaktors eine iterative Uberprufung des Ergebnisses der Zoom- und Pananalyse durchgefuhrt werden. 

Falls ein Zoom vorliegt. wird nun uberpruft, ob im zoomkompensierten Vektorfeld ein Pananteil 
vorhanden ist. 



Test: 

Bei Vorliegen eines Zooms wird ein Zoomvektorfeld gemafl Gleichung (4) synthetisiert und das 
Differenzvektorfeld zu den vorgegebenen Vektoren gebildet. Das Differenzvektorhistogramm wird aufgenom- 
15 men und auf Vorhandensein eines nichtkompensierten Pananteils uberpruft gemafl der o. a. Panerkennung. 
Falls dabei ein Pan erkannt wird. erfolgt iterative Wiederholung der o. a. Zoom- und Panerkennung. 
Abbruchbedingungen fur die Iteration sind: 

- kein Pananteil mehr im Differenzvektorfeld vorhanden 

- Standardabweichung des enmittelten neuen Zoomfaktors ho her als bei letzter Iteration. 
20 - Festsetzung der maximalen Anzahl Iterationen, z. B. auf 4. 

Aus den Parametem Vp = (Vpx.Vpy) und Z wird nun ein Vektorfeld gemafl Gleichung (3) so berechnet, 
dafl je Bildpunkt ein Vektor vorliegt, mit 
V(x.y) = (Vx(x,y).Vy(x,y)) = (Z*x + Vpx. Z*y + Vpy) (12) 
fur alle x, y. 

25 Die bewegungskompensierte Pradiktion mit Zoom- und Pankompensation von Bild n + 1 aus Bild n 
erfolgt nun gemafl Gleichung (3). 



Anspruche 

30 

1. Verfahren zur Bewegungskompensation in einem Bewegtbildcoder oder -decoder zur Erkennung und 
Kompensation von Zoom und Pan. insbesondere fur Femsehbildsequenzen, dadurch gekennzeichnet. 
dafl aus den Daten eines blockorientierten Bewegungsschatzers fur die Ermittlung des Panvektors und des 
Zoomfaktors ein Vektorhistogramm aus den Bewegungsvektoren erzeugt wird. 

35 a) dafl bei Fehlen eines Zooms ein reiner Panvektor durch Interpolation ermittelt wird aus den Vektoren 
groflter Haufigkeit. vorausgesetzt dafl diese Vektoren gleiche oder uberwiegend gleiche Grofle und 
Richtung aufweisen und die Haufigkeit grofler als eine vorgegebene Schwelle ist. 

b) dafl bei vermuteter Existenz eines Zooms ein uberlagerter Panvektor aus einem bereinigten Vektorhi- 
stogramm durch komponentenweise Mittelwertbildung erzeugt wird, 
40 c) dafl in einem ersten Schritt komponentenweise Mittelwerte aus lokalen Schatzungen gemafl der 
Vorschrift Vektorkomponente dividiert durch die Position des Vektors gebildet werden, dafl aus diesen 
lokalen Schatzungen eine Streuung als Gewichtungsfaktor ermittelt wird, dafl in einem zweiten Schritt die 
Mittelwerte gewichtet aufaddiert werden zu einem Zoomfaktor. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dafl die komponentenweise Mittelwertbildung 
45 durch separate Addition der x- und y-Komponenten der Vektoren des Vektorhistogramm gewichtet nach 

ihrer Haufigkeit erfolgt 

3. Verfahren nach Anspruch 1 oder 2. dadurch gekennzeichnet, dafl ein synthetisches Vektorfeld aus den 
Parametem des Zoomfaktors und des Panvektors ermittelt wird gemafl der Vorschrift Vektorkomponente 
gleich Zoomfaktor * Position des Vektors. 

50 4. Verfahren nach Anspruch 3. dadurch gekennzeichnet, dafl ein Differenzvektorfeld aus dem Vektorfeld 
und synthetischem Vektorfeld ermittelt wird, dafl aus dem Differenzvektorfeld ein Pan geschatzt wird und im 
Falle eines vorhandenen Panvektors ungleich Null die Zommanalyse mit korigierter Panschatzung wieder- 
holt wird. 

55 
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© Verfahren zur Bewegungskompensation in einem Bewegtbildcoder Oder -decoder. 

© 

2.1. Zur Datenreduktion werden bewegungskom- 
pensierende Praditoren ermittelt, die durch Erken- 
nung und Kompensation von Zoom und Pan zu- 
satzlich verbessert werden. 

2.2. Aus Daten eines blockorientierten Bewe- 
gungsschatzers wird ein Vektorhistogramm er- 
zeugt, welches fur die Ermittlung eines Panvek- 
tors und des Zoomfaktors herangezogen wird. Ein 
reiner Panvektor wird aus den Vektoren grofiter 
Haufigkeit bestimmt. Bei vermuteter Existenz ei- 
nes Zooms wird der Panvektor aus einem berei- 
nigtem Verktorhistogramme erzeugt. 

2.3. Vorzugsweise findet die Erfindung Anwen- 
dung in digitalen Bildverarbeitungssystemen. 
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